Phu nhân họ Trương, người làng Nguyễn Xá, huyện Duy Tiên, là con gái thứ 3 cụ Trương Minh Lượng, tiến sĩ khoa Canh Thìn, niên hiệu Chính Hoà (1700), làm quan đến Tả thị lang bộ Công, trải nhiều chức quan, tước Hoằng Phái hầu.

Cụ Lê Trọng Thứ có tất cả 20 người con (8 trai, 12 gái)

8 người con trai là:

1. Con trai cả là Lê Quý Đôn (sinh ngày 2 tháng 8 năm 1726-mất ngày 11 tháng 6 năm 1784), là một vị quan thời Lê trung hưng, nhà thơ, nhà bác học nổi tiếng thời phong kiến, trải nhiều chức quan, được triều đình truy tặng hàm Thượng thư Bộ Công, tước Dĩnh Quận công.[12].
2. Cụ Lê Quý Thái: Tham Tri
3. Cụ Lê Quý Hằng: Đốc Đồng
4. Cụ Lê Trọng Quản: Hiến Phó
5. Cụ Lê trọng Tiến: Tri Phủ
6. Cụ Lê Quý Tự: Trọng Huy Công
7. Cụ Lê Quý Bằng: Thất Lam Công
8. Cụ Lê Quý Ngọc: Mậu Lâm công

12 người con gái là:

1. Lấy ông Hà Huy Tước - Tiến sĩ – Phú an – Thư Trí – Thái Bình
2. Lấy ông Hoàng Nghĩa Phúc – Phong Tước hầu - Trấn thủ Hưng Hóa
3. Lấy ông Lý Trần Dự - Tiến sĩ – Vân Canh – Tư Liêm – Hà Nội
4. Lấy vua Lê Ý Tông (1735-1740), không có con, sau về tu ở chùa Thiên Mụ
5. Lấy ông Tạ Nho Sinh - Hội Khê - Thượng bộ
6. Lấy ông Trần Chí Sự - An Liêm xã
7. Lấy ông Hoàng Quận Công – Hoàng Vẫn xã
8. Lấy ôngLý Đại Vương – Lê xá xã
9. Lấy ông Hoàng Tạo Sỹ - Hoàng Vẫn xã
10. Chết lúc còn nhỏ
11. Chết lúc còn nhỏ
12. Chết lúc còn nhỏ